{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "with open('/home/husein/ssd3/nllb/filtered-nllb.json') as fopen:\n",
    "    data = json.load(fopen)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'src': ['ga pegel tuh ngayuhnya', '\"Gatal pegal tuh mengayuhnya.\"'],\n",
       " 'r': {'result': '\"Sakit untuk mengayuhnya.\"',\n",
       "  'pronunciation': 'undefined',\n",
       "  'from': {}}}"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'\"Sakit untuk mengayuhnya.\"'"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data[0]['r']['result']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('process-bjn-Latn.jsonl', 'w') as fopen:\n",
    "    for d in data:\n",
    "        try:\n",
    "            left = d['src'][0]\n",
    "            chatgpt = d['src'][1]\n",
    "            google = d['r']['result']\n",
    "            d = {\n",
    "                'left': left,\n",
    "                'chatgpt': chatgpt,\n",
    "                'google': google,\n",
    "            }\n",
    "            fopen.write(f'{json.dumps(d)}\\n')\n",
    "        except Exception as e:\n",
    "            print(e)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{\"left\": \"bismillah aja, gue sih yakin, kalo emang udah dibiasain seperti aghnan, dalam meredam tantrum pasti lebih mudah kesananya. tapi jangan kaget kalo nanti ada sesi dia ngeles2 bajaj kalo lagi dibilangin. kalo lagi di-bajaj-in arka gue langsung tahan napas sambil biar gak ketawa cekakakan. karna asli lucu banget jawabannya ngelesnya!\", \"chatgpt\": \"\\\"Bismillah saja, saya yakin kalau memang sudah dibiasakan seperti Aghnan, dalam meredam tantrum pasti lebih mudah. Tapi jangan kaget kalau nanti ada sesi dia mengelak dengan alasan yang tidak masuk akal. Kalau lagi dibajak oleh Arka, saya langsung menahan napas sambil berusaha tidak tertawa terbahak-bahak. Karena jawabannya benar-benar lucu sekali!\\\"\", \"google\": \"\\\"Bismillah, saya yakin kalau saya sudah biasa seperti Aghnan, lebih mudah untuk menahan tantrum. Tapi jangan terkejut kalau nanti ada sesi dia mengelak atas alasan yang tidak masuk akal. Kalau saya Saya sedang dirampas oleh Arka, saya segera menahan nafas sambil cuba untuk tidak ketawa. ketawa terbahak-bahak. Sebab jawapannya memang kelakar!\\\"\"}\r\n",
      "{\"left\": \"sampe di sekolah pukul 9, udah lumayan rame sama temen temen seangkatan. tapi adik kelas udah banyak yang pulang, padahal masi pagi gue dulu aja kalo belum jam 10 belum boleh pulang. kalo orang luar ngelihat pasti bilang 'rugi tuh di sekolahin kok malah pulang pagi' tapi kalo pas kita masih sekolah ga pernah ada kata rugi kan uang sakunya udah dikasih\", \"chatgpt\": \"Sampai di sekolah pukul 9, sudah cukup ramai dengan teman seangkatan. Namun, adik kelas sudah banyak yang pulang, padahal masih pagi. Saya dulu juga tidak boleh pulang sebelum jam 10. Orang luar mungkin akan mengatakan \\\"sayang sekali harus sekolah tapi malah pulang pagi\\\", tetapi saat kita masih sekolah, tidak pernah ada kata rugi karena uang saku sudah diberikan.\", \"google\": \"Tiba di sekolah pada pukul 9, keadaan sudah agak sesak dengan rakan sekelas. Namun, ramai pelajar kelas bawahan yang sudah pulang, walaupun masih awal. Saya juga pernah tidak dibenarkan pulang sebelum pukul 10. Orang luar mungkin akan berkata \\\"Sayang anda perlu pergi ke sekolah tetapi sebaliknya pulang awal\\\", tetapi ketika kami masih di sekolah, tidak pernah ada kata kehilangan. sebab duit poket dah diberi.\"}\r\n"
     ]
    }
   ],
   "source": [
    "!tail -n 2 process-bjn-Latn.jsonl"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}
